从视觉生态学中汲取灵感，推动多功能机器人视觉系统的发展

MEMS

7小时前

韩国光州科学技术院YoungMinSong基础研究所Dae-HyeongKim教授从自然眼球结构及其视觉感知机制中汲取灵感，阐述多功能机器人视觉系统的最新进展。...最后举例说明了未来可用于开发非传统生物启发机器人视觉系统的潜在自然眼睛模型。

研究背景

机器人视觉系统需要多方面的成像功能和高效的数据处理算法，以便在复杂多变的环境中熟练地导航和互动，每种环境都提出了不同的视觉要求。自动驾驶汽车是在陆地环境中运行的典型机器人，需要无盲点成像和实时感知能力，以便在变幻莫测的城市车流中实现无缝导航。为满足这些要求，无人机应提供具有高视觉清晰度的全景视场(FoV)，并可在机载人工智能(AI)系统内执行快速高效的数据处理。同样，在空中环境中运行的无人机需要全向宽视场和复杂的感知算法以便在绕过飞行障碍物时不会发生不必要的碰撞。由于无人机需要将这些功能集成到轻质、紧凑的模块中以实现远距离飞行，因此其光学元件应微型化，数据处理算法应具有高能效。在水生机器人领域，全向宽视场和出色的光敏感度有助于在昏暗的水下环境中有效探测从各个方向接近的障碍物。此外，水陆两栖视觉功能通常需要在水上和水下条件下都具有清晰的能见度，以确保在各种水上场景中的多功能操作。

例如，工业机器人利用视觉系统执行重复性任务，如智能工厂生产线上的组装和包装在这些任务中，精确的物体放置至关重要。在这些系统中，先进的物体检测算法大大提高了识别、分类和操作物体的精确度，从而提升了工业机器人的技术能力。在家庭环境中运行的仿人机器人，例如在家中协助老人的仿人机器人，需要高速决策能力来预测潜在危险、防止事故发生并确保人与机器人之间的安全互动。为此，仿人机器人应快速、准确地分析视觉数据，解读周围复杂环境，有效预测人类行为。在医疗机器人中，尤其是外科手术应用中，必须保持机器人手臂的紧凑设计，以尽量减少侵入性。能够检测到微妙的视觉线索，以便进行精确操作。为此，这些医用机器人应配备高分辨率摄像头和小型化外形，以便进行精细操作和有效手术。然而，传统的机器人视觉系统由于其低移动性的光学模块和资源密集型的视觉处理技术，在满足动态变化环境下的各种应用程序的需求方面面临着重大挑战。传统的机器人视觉系统依赖于庞大而沉重的光学组件来提供多种成像功能，这反过来又限制了机器人的移动性。

研究成果

在机器人技术领域，特别是自主导航和人机协作领域，非常规成像技术和高效数据处理能力至关重要。机器人所处的非结构化环境，加上其所承担的复杂任务，带来了众多挑战，需要多种视觉功能，因此，开发多功能机器人视觉系统已变得不可或缺。与此同时，动物视觉系统在进化过程中不断磨砺，以满足它们在不同栖息地的生存需求，其固有的丰富多样性为我们提供了深刻的启示。在此，韩国光州科学技术院Young Min Song 基础研究所Dae-Hyeong Kim教授从自然眼球结构及其视觉感知机制中汲取灵感，阐述多功能机器人视觉系统的最新进展。首先，探讨了自然界眼睛在陆地、空中和水生栖息地的独特成像功能以及人类的视觉信号处理机制。然后，探讨了受生物启发的电子眼的设计和功能其工程设计模仿了天然眼睛的关键部件和基本光学原理。此外，还讨论了神经形态图像传感器，模拟突触、神经元和视网膜的功能特性，从而提高机器人视觉任务的准确性和效率。接下来，介绍了电子眼与移动机器人/生物系统的集成实例。最后，对生物启发电子眼和神经形态图像传感器的发展进行了前瞻性展望。相关报道以“Inspiration from Visual Ecology for Advancing Multifunctional Robotic Vision Systems: Bio-inspired Electronic Eyes and Neuromorphic Image Sensors”为题发表在Advanced Materials期刊上。

图文导读

Figure 1. Nature vision systems as inspiration for ideal robotic vision systems.

Figure 2. Overview of robotic vision systems.

Figure 3. Diversity of natural eyes. Schematic illustration showing the diversity of natural eyes across various animal species, highlighting their unique structural features and specialized imaging functionalities tailored to environmental interactions and survival needs.

Figure 4. Anatomy and signal propagation pathway for visual perception. Schematic illustration showing the signal propagation pathway, from retina to visual cortex, for human visual perception mechanisms. Left and right insets show the cellular structure of retina and the organization of visual cortex, respectively.

Figure 5. Bio-inspired electronic eyes inspired by human eyes.

Figure 6. Bio-inspired electronic eyes inspired by eyes of terrestrial animals.

Figure 7. Bio-inspired electronic eyes inspired by avian eyes.

Figure 8. Bio-inspired electronic eyes inspired by compound eyes of flying insects.

总结与展望

机器人视觉系统已成为下一代电子学和机器人学中不可或缺的组件，尤其是在自动驾驶汽车、无人机和仿人机器人等移动机器人应用快速增长的推动下。

受生物启发的电子眼模仿了自然界眼睛的结构和功能，有别于基于CMOS 图像传感器的传统相机，在提供先进成像功能的同时，还具有结构简单的特点。受陆地动物启发的电子眼利用简化的光学系统实现了高精度的物体检测能力。受空中动物的启发，开发了有眼视觉系统和电子复眼。对水生动物眼睛的模仿赋予了机器人视觉系统独特的成像能力，如单透镜宽视场成像、不均匀光校正和偏振灵敏度。

神经形态图像传感器受到自然视觉感知机制的启发，能够在图像采集过程中对视觉信息进行传感器内计算，从而减少后处理步骤的计算负荷，以决定后续机器人任务。突触光电探测器有助于传感器内对比度增强和模拟 MAC 运算，从而最大限度地减少机器人视觉任务对软件计算的依赖。受神经元尖峰行为的启发，我们开发了适用于 SNN 和基于事件感知的神经形态图像传感器。此外，模仿人类视网膜的神经形态图像传感器还具有传感器内视觉适应和基于内核的图像处理能力。通过模仿飞行昆虫的视觉感知机制，还提出了避免碰撞和动态运动感知的高能效解决方案。

这些受生物启发的电子眼和神经形态图像传感器已成功集成到移动机器人和生物昆虫中，显示出它们有望彻底改变移动机器人的视觉技术。尽管生物启发电子眼和神经形态图像传感器的开发取得了重大进展，但仍需要进一步的技术突破，以解决剩余的挑战，特别是在其现实应用方面。同时，作者探讨了当前的技术障碍和未来的机遇，重点是对硬件组件和功能的要求。还讨论了评估生物启发电子眼和神经形态图像传感器的性能指标。最后举例说明了未来可用于开发非传统生物启发机器人视觉系统的潜在自然眼睛模型。

文献链接

https://doi.org/10.1002/adma.202412252